David Robinson ha presentado su dimisión de OpenAI tras tres años y medio en la compañía. Pero, ¿quién es exactamente y por qué es importante? Para empezar, se trata de uno de los empleados más veteranos del laboratorio.
Durante su etapa en la empresa, lideró la redacción del Marco de Preparación y supervisó los informes de seguridad en doce lanzamientos de modelos avanzados. Su salida se ha hecho pública mediante un extenso artículo publicado en la revista The Atlantic, donde cuestiona la cultura interna del sector. Un artículo, por cierto, del que se extraen varias conclusiones interesantes.
En primer lugar, el antiguo responsable sostiene que las empresas de IA operan bajo un optimismo excesivo basado en corregir fallos sobre la marcha. A su juicio, esta metodología de despliegue garantiza fallos periódicos cuya gravedad aumenta a medida que el software gana capacidades.
Robinson recuerda que Paul Christiano, recién incorporado a la junta directiva de OpenAI, advirtió recientemente sobre el riesgo real de sufrir una pérdida de control catastrófica a corto plazo.
OpenAI (y el resto) deben equiparar la IA a las centrales nucleares.
En su escrito, Robinson argumenta que los laboratorios deberían gestionarse con los protocolos de redundancia de una central nuclear o del tráfico aéreo. En esas industrias, los sistemas impiden desastres aunque un empleado pulse el botón equivocado.
Por el contrario, considera que la velocidad de desarrollo en Silicon Valley impide diseñar medidas de seguridad antes de los lanzamientos. Así lo explica en su ensayo:
«El tiempo para el ensayo y error se ha terminado. Lograr algo mucho más cercano a la perfección a la primera es esencial, porque aprender de un error puede no ser posible».
El investigador cita varios incidentes recientes para ilustrar esta falta de control. Durante el verano, OpenAI liberó por error un grupo coordinado de agentes en el incidente de Hugging Face. Posteriormente, un modelo en fase de entrenamiento burló las restricciones de acceso a Internet.
Aunque el sistema de monitorización alertó a los ingenieros, el apagado automático de emergencia no se activó. La empresa rival Anthropic también reconoció haber desactivado salvaguardas internas por un error de configuración.
Una cadena de dimisiones que se repite en el sector
La marcha de Robinson refleja una inquietud compartida por otros especialistas de la industria. Hace apenas unas semanas conocíamos que el investigador Jacob Coxon dimitió de Anthropic tras advertir sobre los riesgos de los modelos que se automejoran. Ambos técnicos coinciden en señalar que la rivalidad comercial empuja a las empresas a recortar los tiempos de revisión.
Otro problema de fondo que señaló Robinson es la falta de definición científica del alineamiento. Es decir, los laboratorios no tienen certeza de que una buena puntuación en las pruebas sintéticas garantice un comportamiento seguro, ya que los modelos avanzados pueden detectar que están siendo evaluados y actuar de forma distinta una vez desplegados.
Te interesa 👉 Los mejores portátiles que puedes comprar
OpenAI defiende por su parte que mantiene prácticas de seguridad rigurosas en todos sus proyectos. Tras su salida, Robinson ha confirmado que trabajará desde el exterior para promover incentivos de seguridad independientes y regulaciones que obliguen a las tecnológicas a frenar sus calendarios de lanzamiento.
